LLM-as-a-Tutor: Policy-Aware Prompt Adaptation for Non-Verifiable RL
LLM 当导师：面向非可验证强化学习的策略感知提示自适应
🧭 LLM 训练 · 奖励信号自适应
KAIST · Upstage · University of Toronto · Carnegie Mellon University · NVIDIA
让 LLM 同时充当考官和生成器，通过追加原子约束实现提示难度自适应，恢复奖励区分度。
📌 工作参考价值（4 点）
- 在搜索推荐中使用 LLM 评委评估生成质量时，可借鉴 append-only 约束生成方法，随策略能力提升动态增加评估提示的难度，避免奖励信号失效。
- Agent 训练中，固定任务指令易导致简单样本无区分度，可引入自适应难度机制：比较 agent 产出质量，对简单任务自动追加新约束，维持训练信号有效性。
- 工程实现上，复用单一 LLM 完成比较判别与约束生成，原子化约束的追加方式保证难度单调递增，无需外部调度模块，降低系统复杂度。
- 在广告文案或推荐理由生成中，可动态调整评估维度（如“增加情感诉求”、“限制字数”）来持续激发模型能力提升。